面向存算分离 GPU 推理的拓扑感知数据传输技术

文章背景与核心概要

随着大语言模型（LLM）推理在生产环境中的规模化部署，存算分离架构带来的网络瓶颈日益凸显。当计算集群将预填充（Prefill）和解码（Decode）任务分配到不同的 GPU 池时，键值（KV）缓存必须在两者之间频繁传输。对于 70B 参数的模型，单次请求产生的 KV 缓存高达 1.3 GB，在生产环境中极易导致聚合网络流量突破 100 GB/s。

本文针对现有系统（如 DistServe、Splitwise 和 Mooncake）过度依赖统一远程直接内存访问（RDMA）的局限性，提出了一种拓扑感知传输编排器。该方案能够识别现代多层级 GPU 集群中高达 72 倍（甚至在 NVLink 5 下高达 144 倍）的带宽差异，通过流水线式传输、NVLink 域感知放置以及 CXL 3.0 内存扩展技术，显著降低了数据传输延迟，在多种架构下实现了 3 倍至 18 倍的性能提升。

📋 摘要

Disaggregated Large Language Model (LLM) inference introduces severe networking bottlenecks at production scale. When compute clusters split prefill and decode workloads across separate GPU pools, the Key-Value (KV) cache must be continuously transferred between them. For a 70B parameter model, a single request generates 1.3 GB of KV cache data, rapidly pushing aggregate network traffic beyond 100 GB/s in production environments.

存算分离的大语言模型（LLM）推理在生产规模下引入了严重的网络瓶颈。当计算集群将预填充和解码工作负载拆分到不同的 GPU 池时，键值（KV）缓存必须在它们之间持续传输。对于 70B 参数的模型，单次请求会产生 1.3 GB 的 KV 缓存数据，在生产环境中迅速将聚合网络流量推高至 100 GB/s 以上。

Current systems (such as DistServe, Splitwise, and Mooncake) rely on uniform Remote Direct Memory Access (RDMA). This approach overlooks the dramatic hardware bandwidth disparities inherent in modern multi-tier GPU clusters, where transfer speeds vary by up to 72x (and up to 144x with NVLink 5) depending on the physical proximity of the GPUs.

当前的系统（如 DistServe、Splitwise 和 Mooncake）依赖于统一的远程直接内存访问（RDMA）。这种方法忽略了现代多层级 GPU 集群中固有的巨大硬件带宽差异，根据 GPU 的物理邻近程度，传输速度差异可高达 72 倍（使用 NVLink 5 时甚至高达 144 倍）。

To resolve this limitation, this paper introduces a topology-aware transfer orchestrator that maps interconnect hierarchies at startup and optimizes transport pathways per transfer.

为了解决这一局限性，本文引入了一种拓扑感知传输编排器，它在启动时映射互连层级，并针对每次传输优化传输路径。

🚀 关键机制

The proposed architecture integrates three core components:

所提出的架构集成了三个核心组件：

Pipelined Layer-by-Layer Transfer: Overlaps data transmission with ongoing prefill computations. This hides 76% to 100% of transfer latency behind computation, completely masking NVLink and PCIe transfers.

流水线式逐层传输： 将数据传输与正在进行的预填充计算重叠。这在计算过程中隐藏了 76% 到 100% 的传输延迟，完全掩盖了 NVLink 和 PCIe 的传输开销。

NVLink Domain-Aware Placement: Designed specifically for Mixture-of-Experts (MoE) models, co-optimizing expert dispatch workflows with KV cache locality.

NVLink 域感知放置： 专为混合专家（MoE）模型设计，协同优化专家调度工作流与 KV 缓存的局部性。

CXL 3.0 Memory Expanders: Serves as a shared overflow tier delivering 6x greater capacity at an 86x lower latency profile compared to traditional NVMe storage.

CXL 3.0 内存扩展器： 作为共享溢出层，与传统的 NVMe 存储相比，提供 6 倍的容量，且延迟降低了 86 倍。

📊 性能预测

Due to the infrastructure constraints of testing multi-node heterogeneous networks and CXL 3.0 hardware in standard academic and cloud environments, the evaluation utilizes analytical bandwidth models and component implementations.

由于在标准学术和云环境中测试多节点异构网络和 CXL 3.0 硬件存在基础设施限制，评估采用了分析带宽模型和组件实现。

Across three evaluated architectures, the topology-aware approach achieves a 3x to 18x reduction in transfer latency compared to standard uniform RDMA deployments.

在三种评估架构中，与标准的统一 RDMA 部署相比，拓扑感知方法实现了 3 倍到 18 倍的传输延迟降低。